<!DOCTYPE html>
<html>
<head>
  <meta charset="utf-8">
  
  <title>mq技术架构 | haijd</title>
  <meta name="viewport" content="width=device-width, initial-scale=1, maximum-scale=1">
  
  <meta name="keywords" content="架构师之路文章笔记" />
  
  
  
  
  <meta name="description" content="MQ技术架构">
<meta name="keywords" content="架构师之路文章笔记">
<meta property="og:type" content="article">
<meta property="og:title" content="MQ技术架构">
<meta property="og:url" content="http://www.hais2.com/2017/10/17/MQ技术架构/index.html">
<meta property="og:site_name" content="haijd">
<meta property="og:description" content="MQ技术架构">
<meta property="og:locale" content="default">
<meta property="og:image" content="http://ww1.sinaimg.cn/large/c55a7aeely1fkljzphrdkj20cs05o0sx.jpg">
<meta property="og:updated_time" content="2017-10-17T14:41:05.000Z">
<meta name="twitter:card" content="summary">
<meta name="twitter:title" content="MQ技术架构">
<meta name="twitter:description" content="MQ技术架构">
<meta name="twitter:image" content="http://ww1.sinaimg.cn/large/c55a7aeely1fkljzphrdkj20cs05o0sx.jpg">
  
    <link rel="alternate" href="/atom.xml" title="haijd" type="application/atom+xml">
  
  <link rel="icon" href="/css/images/favicon.ico">
  
    <link href="//fonts.googleapis.com/css?family=Source+Code+Pro" rel="stylesheet" type="text/css">
  
  <link href="https://fonts.googleapis.com/css?family=Open+Sans|Montserrat:700" rel="stylesheet" type="text/css">
  <link href="https://fonts.googleapis.com/css?family=Roboto:400,300,300italic,400italic" rel="stylesheet" type="text/css">
  <link href="//cdn.bootcss.com/font-awesome/4.6.3/css/font-awesome.min.css" rel="stylesheet">
  <style type="text/css">
    @font-face{font-family:futura-pt;src:url(https://use.typekit.net/af/9749f0/00000000000000000001008f/27/l?subset_id=2&fvd=n5) format("woff2");font-weight:500;font-style:normal;}
    @font-face{font-family:futura-pt;src:url(https://use.typekit.net/af/90cf9f/000000000000000000010091/27/l?subset_id=2&fvd=n7) format("woff2");font-weight:500;font-style:normal;}
    @font-face{font-family:futura-pt;src:url(https://use.typekit.net/af/8a5494/000000000000000000013365/27/l?subset_id=2&fvd=n4) format("woff2");font-weight:lighter;font-style:normal;}
    @font-face{font-family:futura-pt;src:url(https://use.typekit.net/af/d337d8/000000000000000000010095/27/l?subset_id=2&fvd=i4) format("woff2");font-weight:400;font-style:italic;}</style>
    
  <link rel="stylesheet" id="athemes-headings-fonts-css" href="//fonts.googleapis.com/css?family=Yanone+Kaffeesatz%3A200%2C300%2C400%2C700&amp;ver=4.6.1" type="text/css" media="all">
  <link rel="stylesheet" href="/css/style.css">

  <script src="/js/jquery-3.1.1.min.js"></script>

  <!-- Bootstrap core CSS -->
  <link rel="stylesheet" href="/css/bootstrap.css" >
  <link rel="stylesheet" href="/css/hiero.css" >
  <link rel="stylesheet" href="/css/glyphs.css" >
  
    <link rel="stylesheet" href="/css/vdonate.css" >
  

</head>

<script>
var themeMenus = {};

  themeMenus["/"] = "Home"; 

  themeMenus["/archives"] = "Archives"; 

  themeMenus["/categories"] = "Categories"; 

  themeMenus["/tags"] = "Tags"; 

  themeMenus["/about"] = "About"; 

</script>


  <body data-spy="scroll" data-target="#toc" data-offset="50">


  <header id="allheader" class="site-header" role="banner">
  <div class="clearfix container">
      <div class="site-branding">

          <h1 class="site-title">
            
              <a href="/" title="haijd" rel="home"> haijd </a>
            
          </h1>

          
            <div class="site-description">Stay Hungry,Stay Foolish</div>
          
            
          <nav id="main-navigation" class="main-navigation" role="navigation">
            <a class="nav-open">Menu</a>
            <a class="nav-close">Close</a>
            <div class="clearfix sf-menu">

              <ul id="main-nav" class="nmenu sf-js-enabled">
                    
                      <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-home menu-item-1663"> <a class="" href="/">Home</a> </li>
                    
                      <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-home menu-item-1663"> <a class="" href="/archives">Archives</a> </li>
                    
                      <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-home menu-item-1663"> <a class="" href="/categories">Categories</a> </li>
                    
                      <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-home menu-item-1663"> <a class="" href="/tags">Tags</a> </li>
                    
                      <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-home menu-item-1663"> <a class="" href="/about">About</a> </li>
                    
              </ul>
            </div>
          </nav>


      </div>
  </div>
</header>




  <div id="container">
    <div id="wrap">
            
      <div id="content" class="outer">
        
          <section id="main" style="float:none;"><article id="post-MQ技术架构" style="width: 66%; float:left;" class="article article-type-post" itemscope itemprop="blogPost" >
  <div id="articleInner" class="clearfix post-1016 post type-post status-publish format-standard has-post-thumbnail hentry category-template-2 category-uncategorized tag-codex tag-edge-case tag-featured-image tag-image tag-template">
    
<div class="article-gallery">
  <div class="article-gallery-photos">
    
      <a class="article-gallery-img fancybox" href="http://ww1.sinaimg.cn/large/c55a7aeely1fkljzphrdkj20cs05o0sx.jpg" rel="gallery_cjie4naje005t3swac0rjg5ds">
        <img src="http://ww1.sinaimg.cn/large/c55a7aeely1fkljzphrdkj20cs05o0sx.jpg" itemprop="image">
      </a>
    
  </div>
</div>

    
      <header class="article-header">
        
  
    <h1 class="thumb" class="article-title" itemprop="name">
      MQ技术架构
    </h1>
  

      </header>
    
    <div class="article-meta">
      
	Posted on <a href="/2017/10/17/MQ技术架构/" class="article-date">
	  <time datetime="2017-10-17T13:10:08.000Z" itemprop="datePublished">October 17, 2017</time>
	</a>

      
	<span id="busuanzi_container_page_pv">
	  本文总阅读量<span id="busuanzi_value_page_pv"></span>次
	</span>

    </div>
    <div class="article-entry" itemprop="articleBody">
      
        <p>[TOC]  </p>
<h1 id="什么时候使用MQ"><a href="#什么时候使用MQ" class="headerlink" title="什么时候使用MQ"></a>什么时候使用MQ</h1><h2 id="什么是MQ？"><a href="#什么是MQ？" class="headerlink" title="什么是MQ？"></a>什么是MQ？</h2><ul>
<li>消息队列(Message Queue)是一种跨进程的通信机制，用于上下游传递消息。</li>
<li>使用MQ，消息发送上只需要依赖MQ，逻辑上和物理上都不需要依赖其他的服务，对业务进行了解耦，消息上下游互相不依赖，只需要知道MQ的存在即可。  </li>
<li>MQ的不足之处：<ul>
<li>多了一个MQ组件，使系统更加复杂。</li>
<li>消息的传递延时会增加(队列处理)</li>
<li>消息可靠性和重复性互为矛盾(消息丢失后难以保证下次是否会重复执行该消息)</li>
<li>下游无法知道上游的执行结果(上下游完全解耦，没有互相调用)<a id="more"></a><h2 id="什么时候不使用MQ"><a href="#什么时候不使用MQ" class="headerlink" title="什么时候不使用MQ"></a>什么时候不使用MQ</h2></li>
</ul>
</li>
<li><strong>调用者实时依赖执行结果的业务场景，不适合使用MQ</strong>，也就是如果我们的业务中有某个方法需要获得一个返回结果才能继续执行的场景下，不适合使用MQ，因为MQ是一个队列执行的，延迟无法避免。</li>
</ul>
<h2 id="什么时候使用MQ-1"><a href="#什么时候使用MQ-1" class="headerlink" title="什么时候使用MQ"></a>什么时候使用MQ</h2><ul>
<li>场景一：数据驱动的任务依赖<ul>
<li>调用者不需要实时获取返回结果时，可以使用MQ，订阅返回消息即可，受到消息再做下一步处理，不需要实时处理。</li>
</ul>
</li>
<li>场景二：上游不关心执行结果<ul>
<li>上游执行输出后，不在关心该输出后续的业务，这时可以使用MQ。</li>
</ul>
</li>
<li>场景三：上游关注执行结果，但执行时间很长<ul>
<li>上游关注下游的执行结果，但是下游可能执行时间很长，这时候可以使用MQ，上游调用下游后，在MQ中订阅下游执行的结果，这需要一个跟前面场景颠倒的顺序：<em>上游订阅消息，下游发送消息。</em><h1 id="使用MQ削峰填谷，防止流量冲击"><a href="#使用MQ削峰填谷，防止流量冲击" class="headerlink" title="使用MQ削峰填谷，防止流量冲击"></a>使用MQ削峰填谷，防止流量冲击</h1></li>
</ul>
</li>
<li>使用直接调用(RPC)会出现的问题：<ul>
<li>上下游业务不一致，复杂性不一致，可能导致一方“无事可做”，另一方系统被流量压垮。</li>
<li>例如秒杀场景下，上游负责用户下单，下游负责处理订单、检查库存等等，这是就出现流量不平衡的问题，需要借助MQ实现“削峰填谷”。</li>
</ul>
</li>
<li>MQ的能力：<ul>
<li>上游将消息发送给MQ，不用管下游的处理情况。</li>
<li>下游根据自身的能力，依次从MQ中读取消息进行处理即可，不会造成下游处理压力。</li>
</ul>
</li>
<li><p>问题：</p>
<ul>
<li>由于MQ作为中间介质的存在，会受到上下游两方的影响，上游发送消息过多、下游处理任务能力不足，都会导致MQ中的消息堆积，造成延迟、超时，这时候我们不能依靠MQ的能力，尽量做好上下游业务的优化，尤其是复杂一方的处理能力，这才是本质。<h1 id="MQ能否实现消息必达"><a href="#MQ能否实现消息必达" class="headerlink" title="MQ能否实现消息必达"></a>MQ能否实现消息必达</h1><img src="/image/2017-10-17-21-16-43.png" alt="">   </li>
</ul>
</li>
<li><p>核心的两点：</p>
<ol>
<li><strong>消息落地</strong><ul>
<li>发布者(上图1-3)：<ul>
<li>MQ-Client发送消息给MQ-Server(发送消息)</li>
<li>MQ-Server将消息落地(保存到数据库)</li>
<li>MQ-Server将应答发(是否落地成功)送给MQ-Client(回调)</li>
</ul>
</li>
<li>订阅者(上图4-6)：<ul>
<li>MQ-Server将消息发送给MQ-Client(回调)</li>
<li>MQ-Client回复消息给MQ-Service(发送消息，是否执行完)</li>
<li>MQ-Server收到<code>ack</code>，将之前落地的消息删除(从数据库删除)</li>
</ul>
</li>
</ul>
</li>
<li><strong>消息超时重传、确认</strong><ul>
<li>发布者(上图1-3)：<ul>
<li>一旦超时或丢失，MQ-Client定时器重发消息，直到收到回调消息，发次重发仍然未收到回调消息，则通知回调接口发送失败。</li>
</ul>
</li>
<li>订阅者(上图4-6)：<ul>
<li>一旦超时或丢失，MQ-Server定时器重发消息，直到收到<code>ack</code>，并且落地消息已经删除完成。   </li>
</ul>
</li>
</ul>
</li>
</ol>
</li>
<li><p><em>消息必达伴随着可能发生的消息重复</em></p>
</li>
<li><em>消息必达会增加IO操作，影响一些效率，必须权衡信息的可靠性和性能。</em></li>
<li><strong>保证消息的幂等性，可是从客户端对每条消息生成一个<code>msg-id</code>，在发布者订阅者和MQ之间传递，以保证相同的消息只落地一次，只执行一次。</strong><h1 id="使用MQ实现“延时消息”"><a href="#使用MQ实现“延时消息”" class="headerlink" title="使用MQ实现“延时消息”"></a>使用MQ实现“延时消息”</h1>延时消息相当于一个定时任务。</li>
</ul>
<p>普通定时任务轮询的不足：     </p>
<pre><code>- 轮询效率低
- 每次需要扫库，多余数据增加计算负担。
- 轮询频率不好控制，频率太高计算负担太大，频率太低时间误差无法保证。
</code></pre><p>高效延时消息的实现案例：<strong>环形队列</strong><br><figure class="highlight plain"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br><span class="line">12</span><br><span class="line">13</span><br><span class="line">14</span><br><span class="line">15</span><br><span class="line">16</span><br><span class="line">17</span><br><span class="line">18</span><br><span class="line">19</span><br><span class="line">20</span><br><span class="line">21</span><br><span class="line">22</span><br><span class="line">23</span><br><span class="line">24</span><br><span class="line">25</span><br><span class="line">26</span><br><span class="line">27</span><br><span class="line">28</span><br><span class="line">29</span><br><span class="line">30</span><br></pre></td><td class="code"><pre><span class="line">private void Test()&#123;</span><br><span class="line">    var task =new List&lt;Tasks&gt;(3600);</span><br><span class="line">    var currentIndex = 0;</span><br><span class="line">    var timer = new Timer&#123;</span><br><span class="line">        Interval = 1000</span><br><span class="line">    &#125;;</span><br><span class="line">    timer.Elapsed +=delegate&#123;</span><br><span class="line">        if (currentIndex &gt;= 3600)&#123;</span><br><span class="line">            currentIndex = 0;  //复位索引计数器</span><br><span class="line">        &#125;</span><br><span class="line">        if (task[currentIndex].Cycle_Num == 0)&#123;</span><br><span class="line">            var executeTask = task[currentIndex].TaskName;  //这里专门有一个方法去执行对应的任务</span><br><span class="line">            task.RemoveAt(currentIndex);</span><br><span class="line">        &#125;</span><br><span class="line">        else&#123;</span><br><span class="line">            task[currentIndex].Cycle_Num -= 1;   //将轮询的圈数减一，等待下一轮判断是否为0</span><br><span class="line">        &#125;</span><br><span class="line">            currentIndex++;</span><br><span class="line">    &#125;;</span><br><span class="line">    timer.Start();</span><br><span class="line">&#125;</span><br><span class="line">class Queues&#123;</span><br><span class="line">    public List&lt;Tasks&gt; QueueTaskses &#123; get; set; &#125;  </span><br><span class="line">&#125;</span><br><span class="line">//具体的任务结构</span><br><span class="line">class Tasks&#123;</span><br><span class="line">    // 记录环形队列扫描圈数</span><br><span class="line">    public int Cycle_Num &#123; get; set; &#125;</span><br><span class="line">    public string TaskName &#123; get; set; &#125;</span><br><span class="line">&#125;</span><br></pre></td></tr></table></figure></p>
<p>一个简单的实现:    </p>
<ul>
<li>在MQ中应该有这么一个环形队列(数组)，例如有3600长度(代表3600秒)。</li>
<li>收到的需要延时的任务，都一次加入这个队列中，在加入时需要一些处理：<ul>
<li>首先根据任务延时的时长计算出任务在环形队列中的圈数，然后根据余数，将该任务插入队列中具体的索引处。</li>
<li>将任务的执行封装起来，这里留一个简单的调用标识(例如存储一个方法的指针),这样在执行到的时候，可以拿出来交给另一个线程去执行，避免影响队列的下一步轮询。</li>
</ul>
</li>
<li>创建一个<code>Timer</code>每秒向前执行一次判断，拿出其中保存的Task，判断Task的属性<code>Cycle_Num</code>是否等于0，等于0就应当立即去执行这个Task，不等于0，就将<code>Cycle_Num</code>减1，表示这轮扫描已经结束。</li>
</ul>
<p>以上是根据沈剑老师讲解的案例写的简单例子，看评论里面有很多读者提出Redis等开源组件有实现延迟消息功能，可以酌情使用，懂得底层实现总是好的。</p>
<p><em>参考[58沈剑公众号](<a href="https://mp.weixin.qq.com/profile?src=3&amp;timestamp=1508246477&amp;ver=1&amp;signature=eBZBLw" target="_blank" rel="noopener">https://mp.weixin.qq.com/profile?src=3&amp;timestamp=1508246477&amp;ver=1&amp;signature=eBZBLw</a></em>kCBmlIkAx3JC5hr9<em>kzP049YBGoYXPBjqrtgaxchczxYL2b-4mhGK5V5nsQANBWq-ErYBSPpIVlF5QQ==)系列文章。</em></p>

      
    </div>
    <footer class="entry-meta entry-footer">
      
	<span class="ico-folder"></span>
    <a class="article-category-link" href="/categories/架构之路/">架构之路</a>

      
  <span class="ico-tags"></span>
  <ul class="article-tag-list"><li class="article-tag-list-item"><a class="article-tag-list-link" href="/tags/架构师之路文章笔记/">架构师之路文章笔记</a></li></ul>

      
        <div id="donation_div"></div>

<script src="/js/vdonate.js"></script>
<script>
var a = new Donate({
  title: '如果觉得我的文章对您有用，请随意打赏。您的支持将鼓励我继续创作!', // 可选参数，打赏标题
  btnText: 'Donate', // 可选参数，打赏按钮文字
  el: document.getElementById('donation_div'),
  wechatImage: '/css/images/wechatPay.png',
  alipayImage: '/css/images/alipay.jpg'
});
</script>
      

      
        
	<section id="comments" class="comment">
	  <div id="disqus_thread">
	  <noscript>Please enable JavaScript to view the <a href="//disqus.com/?ref_noscript">comments powered by Disqus.</a></noscript>
	  </div>
	</section>

	<script type="text/javascript">
	var disqus_shortname = 'haijdblog';
	(function(){
	  var dsq = document.createElement('script');
	  dsq.type = 'text/javascript';
	  dsq.async = true;
	  dsq.src = '//' + disqus_shortname + '.disqus.com/embed.js';
	  (document.getElementsByTagName('head')[0] || document.getElementsByTagName('body')[0]).appendChild(dsq);
	}());
	(function(){
	  var dsq = document.createElement('script');
	  dsq.type = 'text/javascript';
	  dsq.async = true;
	  dsq.src = '//' + disqus_shortname + '.disqus.com/count.js';
	  (document.getElementsByTagName('head')[0] || document.getElementsByTagName('body')[0]).appendChild(dsq);
	}());
	</script>


      
    </footer>
  </div>
  
    
<nav id="article-nav">
  
    <a href="/2017/10/19/如何阅读源码总结/" id="article-nav-newer" class="article-nav-link-wrap">
      <strong class="article-nav-caption">Newer</strong>
      <div class="article-nav-title">
        
          如何阅读源码总结
        
      </div>
    </a>
  
  
    <a href="/2017/10/14/GO标准库笔记Ⅰ-IO/" id="article-nav-older" class="article-nav-link-wrap">
      <strong class="article-nav-caption">Older</strong>
      <div class="article-nav-title">Go标准库笔记Ⅰ：IO</div>
    </a>
  
</nav>

  
</article>

<!-- Table of Contents -->

  <aside id="sidebar">
    <div id="toc" class="toc-article">
    <strong class="toc-title">Contents</strong>
    
      <ol class="nav"><li class="nav-item nav-level-1"><a class="nav-link" href="#什么时候使用MQ"><span class="nav-number">1.</span> <span class="nav-text">什么时候使用MQ</span></a><ol class="nav-child"><li class="nav-item nav-level-2"><a class="nav-link" href="#什么是MQ？"><span class="nav-number">1.1.</span> <span class="nav-text">什么是MQ？</span></a></li><li class="nav-item nav-level-2"><a class="nav-link" href="#什么时候不使用MQ"><span class="nav-number">1.2.</span> <span class="nav-text">什么时候不使用MQ</span></a></li><li class="nav-item nav-level-2"><a class="nav-link" href="#什么时候使用MQ-1"><span class="nav-number">1.3.</span> <span class="nav-text">什么时候使用MQ</span></a></li></ol></li><li class="nav-item nav-level-1"><a class="nav-link" href="#使用MQ削峰填谷，防止流量冲击"><span class="nav-number">2.</span> <span class="nav-text">使用MQ削峰填谷，防止流量冲击</span></a></li><li class="nav-item nav-level-1"><a class="nav-link" href="#MQ能否实现消息必达"><span class="nav-number">3.</span> <span class="nav-text">MQ能否实现消息必达</span></a></li><li class="nav-item nav-level-1"><a class="nav-link" href="#使用MQ实现“延时消息”"><span class="nav-number">4.</span> <span class="nav-text">使用MQ实现“延时消息”</span></a></li></ol>
    
    </div>
  </aside>
</section>
        
      </div>
      <footer id="footer" class="site-footer">
  

  <div class="clearfix container">
      <div class="site-info">
	      &copy; 2018 haijd All Rights Reserved.
          
            <span id="busuanzi_container_site_uv">
              本站访客数<span id="busuanzi_value_site_uv"></span>人次  
              本站总访问量<span id="busuanzi_value_site_pv"></span>次
            </span>
          
      </div>
      <div class="site-credit">
        Theme by <a href="https://github.com/iTimeTraveler/hexo-theme-hiero" target="_blank">hiero</a>
      </div>
  </div>
</footer>


<!-- min height -->

<script>
    var contentdiv = document.getElementById("content");

    contentdiv.style.minHeight = document.body.offsetHeight - document.getElementById("allheader").offsetHeight - document.getElementById("footer").offsetHeight + "px";
</script>
    </div>
    <!-- <nav id="mobile-nav">
  
    <a href="/" class="mobile-nav-link">Home</a>
  
    <a href="/archives" class="mobile-nav-link">Archives</a>
  
    <a href="/categories" class="mobile-nav-link">Categories</a>
  
    <a href="/tags" class="mobile-nav-link">Tags</a>
  
    <a href="/about" class="mobile-nav-link">About</a>
  
</nav> -->
    

<!-- mathjax config similar to math.stackexchange -->

<script type="text/x-mathjax-config">
  MathJax.Hub.Config({
    tex2jax: {
      inlineMath: [ ['$','$'], ["\\(","\\)"] ],
      processEscapes: true
    }
  });
</script>

<script type="text/x-mathjax-config">
    MathJax.Hub.Config({
      tex2jax: {
        skipTags: ['script', 'noscript', 'style', 'textarea', 'pre', 'code']
      }
    });
</script>

<script type="text/x-mathjax-config">
    MathJax.Hub.Queue(function() {
        var all = MathJax.Hub.getAllJax(), i;
        for(i=0; i < all.length; i += 1) {
            all[i].SourceElement().parentNode.className += ' has-jax';
        }
    });
</script>

<script type="text/javascript" src="https://cdn.mathjax.org/mathjax/latest/MathJax.js?config=TeX-AMS-MML_HTMLorMML">
</script>


  <link rel="stylesheet" href="/fancybox/jquery.fancybox.css">
  <script src="/fancybox/jquery.fancybox.pack.js"></script>


<script src="/js/scripts.js"></script>
<script src="/js/bootstrap.js"></script>
<script src="/js/main.js"></script>








	<script async src="//dn-lbstatics.qbox.me/busuanzi/2.3/busuanzi.pure.mini.js">
	</script>






  </div>

  <a id="rocket" href="#top" class=""></a>
  <script type="text/javascript" src="/js/totop.js" async=""></script>
</body>
</html>
